"""
分割JSON数据, 允许控制块大小的同时分割JSON数据。
"""
import json
from langchain_text_splitters import RecursiveJsonSplitter

file_path = "../data/document/data.json"
with open(file_path, "r") as f:
    json_data = json.load(f)

splitter = RecursiveJsonSplitter(max_chunk_size=200)
# 指定 convert_lists=True 来预处理json，将列表内容转换为 index:item 形式的字典，作为 key:val 对
docs = splitter.split_text(json_data=json_data, convert_lists=True)

for doc in docs[:]:
    print(doc)
